Đường Thái Tông Quý phi Vi thị, người huyện Đỗ Lăng, thuộc phủ Kinh Triệu (thủ phủ Trường An lúc bấy giờ, nay là Tây An, Thiểm Tây), là cháu gái của Thái phó nhà Bắc Chu là Văn Tương công Vi Hiếu Khoan. Thân phụ của bà là Vân Quốc Tĩnh công Vi Viên Thành (韦圆成), mẹ là chính thất Dương phu nhân. Trong Cựu Đường thư và Tân Đường thư đều không có truyện của bà, sinh thời hành trạng chỉ được viết qua bia mộ của bà và trong mộ bia của con gái đầu là vợ của A Sử Na Trung (阿史那忠).

Theo đó, Vi thị năm 4 tuổi mất cha, khi đưa tang trước mộ phần thì thút thít không thôi. Lớn lên, bà rất rụt rè đoan trang, rất có văn thải, từng xuất giá lấy Kiến Xương công Lý Hiếu Mân (李孝珉), con trai của Hộ bộ Thượng thư của nhà Tùy là Lý Tử Hùng (李子雄). Hai vợ chồng sinh một con gái.

Năm Đại Nghiệp thứ 9 (613), Lý Tử Hùng tham gia biến loạn của Dương Huyền Cảm, nên bị chính phủ nhà Tùy xử tử[1]. Sau đó, sử không còn đề cập về tình trạng của nhà họ Lý cùng Vi Khuê, có vẻ Hiếu Mân cũng bị xử quyết. Trong mộ chí của Vi Khuê, cũng không đề cập cụ thể tình hình của bà và làm thế nào mà bà cuối cùng lại trở thành thiếp của Lý Thế Dân, song mộ chí có ghi Vi Khuê đã "Nga dĩ lương gia nhập tuyển" (Nguyên văn: 俄以良家入选), nên có thể nhận định vào thời khắc dự tuyển vào Dịch đình nhà Đường, Vi Khuê đã lấy thân phận con gái nhà lành, hoàn toàn giấu giếm thân phận từng kết hôn. Đây là chủ ý của Vi Khuê hay phía chính phủ nhà Đường, cho đến nay vẫn không rõ.

Căn cứ việc em họ Vi Ni Tử nhập tuyển năm Vũ Đức thứ 4 (621), Vi Khuê có lẽ cũng trở thành thiếp của Lý Thế Dân trong thời gian này. Năm thứ 7 (624), Vi Khuê sinh ra con gái, tức Lâm Xuyên công chúa Lý Mạnh Khương.